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Коротка історія вивчення штучного інтелекту 


Німецький математик Готфрід Лейбніц був першим, хто чітко висловив необхідність 
створення "універсальної характеристики", тобто точної формальної мови, з допомогою якої 
можна обчислювати логічні розсуди, робити беззаперечні висновки. Перший, хто зробив 
впевнений крок в цьому напрямку, був англієць Джордж Буль. Буль запропонував декілька 
якісно нових ідей та підходів, які привели до створення булевої алгебри, логіки предикатів 
(Г.Фреге), теорії множин. Твердження, як операції над множинами, вивчали й до Буля, 
наприклад, Леонард Ейлер розробив Діаграми Ейлера, але Джордж Буль це все зібрав в єдину 
цілісну теорію. Парадокси наївної теорії множин були усунені в праці Бертрана Рассела та 
Альфреда Вайтгеда, там же був описаний синтаксис логіки предикатів на основі синтаксису 
італійця Джузеппе Пеано. Це все проклало шлях до створення "Символьного штучного 
інтелекту" (5упойс АТ), тобто машини, яка робить висновки на основі чітко прописаних 
правил логіки, типу правила Де Моргана, правила логіки Арістотеля, плоди5 ропепз та інші. 
Щоправда, Курт Гьодель показав, що тільки деякі висновки будуть несуперечливі, якщо 
користуватися методами Рассела та Вайтеда (та методами Давида Гілберта). 

Алан Тюрінг після того, як дав формальний опис поняттю "обчислення" (на основі машини 
Тюрінга), зацікавився тим, як можна визначити чи має машина інтелект, і як наслідок 
запропонував Тест Тюрінга. Алан Тюрінг у статті "Обчислювальна техніка та інтелект" 
(1950) згадує важливість обмежень, які накладає Теорема Гьоделя про неповноту. Відповідно 
потрібно було знайти інші шляхи для створення мислячих машин. Програмісти почали 
надихатися біологією. У 1943 році нейрофізіолог Воррен Маккаллох і логік Волтер Піттс 
опублікували статтю, де змоделювали біологічну роботу органічного нейрона за допомогою 
електричних ланцюгів. Френк Розенблат розробив нейронну мережу прямого поширення. 
Потім штучний інтелект й розпізнавання образів вивчали Марвін Мінский та Джон Маккарті 
(розробник мови 1 зр). 

Вчений та письменник Айзек Азімов запропонував базову етику штучного інтелекту, а саме 
Три закони робототехніки. 


Закони робототехніки Айзека Азімова: 

1. Робот (ШІ) не може нашкодити людині або через свою бездіяльність допустити, щоб 
людині було завдано шкоди. 

2. Робот мусить підкорятися наказам людини, коли ці накази не суперечать Першому закону. 
3. Робот повинен дбати про свою безпеку доти, поки це не суперечить Першому і Другому 
законам. 


Наприкінці 1980-х років праця Джуди Перла "Імовірнісне міркування в інтелектуальних 
системах" утвердили баєсові мережі як область дослідження. 


В 1997 році машина Реер Віше здобула перемогу над чемпіоном світу з шахів, гросмейстером 
Гаррі Каспаровим. Цей матч вважається важливим етапом в історії шахів і штучного 
інтелекту, оскільки це був перший раз, коли світовий шаховий чемпіон програв комп'ютеру в 
матчі з класичним контролем часу. 


Перші згадки про згорткові нейронні мережі (Сопуоішіопа! Меигаї Мегм/огК5) належать до 
робіт Яна ЛеКуна та його колег (див. Неокогнітрон Фокусіми). Одна з найбільш відомих 
робіт ЛеКуна та його команди описує 1 еМеї-5, нейронну мережу, яка була успішно 
використана для розпізнавання рукописних цифр на базі даних ММІЗТ. 

База даних ММІЗТ (скорочення від Міхеа Майопа! Іп5гіїше ої 5гапдагаз апа Тесрпоіору) 


містить 60000 зображень для навчання і 10000 зображень для тестування. 


У 2012 році Алекс Крижевський, Ілля Суцкевер та Джеффрі Гінтон представили архітектуру 
АІехМег, яка значно покращила результати у змаганнях з розпізнавання образів і стала 
поштовхом до популяризації глибокого навчання (Реер Іеагпіпе). 


2013 року команда в Сооєїе під проводом Томаша Міколова створила у/ога?уєс, 
інструментарій вкладання слів, що може тренувати векторні моделі швидше за попередні 
підходи. 


У 2014 році Ян Гудфелоу та його колеги розробили генеративні змагальні мережі (САМ5), які 
відкрили нові можливості для створення штучних зображень та інших даних. 

Генеративна змагальна мережа (Сепегайуєе А дуегзагіа! МегугогК, САМ) -- це клас алгоритмів 
машинного навчання, який складається з двох нейронних мереж, що змагаються одна з 
одною в процесі навчання. Ці дві мережі називаються генератором і дискримінатором. 
Генератор покращує свої навички створення підроблених зразків, щоб дискримінатор не зміг 
їх відрізнити від реальних. 

Дискримінатор покращує свої навички класифікації, щоб краще розрізняти реальні зразки від 
підроблених. 

В 2017 році колектив ДеерМіпа випустив препринт програми Аррба/?его, яка після 
тренування протягом 24 годин змогла перемогти чемпіонів світу серед програм за іграми в 
шахи та го. 

У 2017 році дослідники Сообіе представили модель Ттап5їогтег, яка революціонізувала 
обробку природної мови. Тгап5Їогтег використовує механізм уваги, що дозволяє моделі 
ефективніше обробляти великі послідовності даних. Це призвело до створення моделей 
ВЕЕТ, СРТ, та інших сучасних мовних моделей. 

У 2020 році компанія ОрепАЇ представила СРТ-3З (Сепегайуєе Рге-ітаїпед Тгап5їогтег 3), одну з 
найбільш потужних мовних моделей на той час, яка здатна генерувати тексти, що майже не 
відрізняються від написаних людьми. 


Визначення штучного інтелекту 


«Суть теоретичної моделі полягає в тому, що це система з відомими властивостями, які легко 
піддаються аналізу, яка, за гіпотезою, втілює істотні риси системи з невідомими 

або неоднозначними властивостями" 

(Френк Розенблат, "Персептрони й теорія мозку") 


Багатошарові нейронні мережі вивчаються в рамках Глибокого навчання (Реєер Іеагпіпе), 
Глибоке навчання є підмножиною Машинного навчання. Машинне навчання є підмножиною 
сфери Штучного інтелекту (ШІ). 


Навчання -- процес набуття знань та досвіду. 


Контрольоване навчання (навчання з учителем, 5ирегуізеа Іеагпіп) -- це процес, коли модель 
навчається на позначеному наборі даних, тобто кожен навчальний приклад поєднується з 
вихідною міткою (правильною вдповіддю). 


Очевидно, що людина з нароження має здатність навчатися без учителя. Мозок людини 
підсвідомо класифікує отриману інформацію. Інстинкти спонукають людину до навчання й 
дослідження, а рефлекси, біль та задоволення, працюють для зворотного зв'язку та 
підкріплення (теіпіогсетепі Іеагпіп?). 

Нобелівський лауреат Іван Павлов писав: "Рефлекс - - це реакція організму на зовнішній 
подразник". 

У 1951 році голландський біолог Ніколас Тінберген опублікував "Дослідження інстинкту", 
впливову книгу про поведінку тварин. Ніколас Тінберген (1907 - 1988) отримав Нобелівську 
премію з фізіології та медицини 1973 року разом з Карлом фон Фрішем і Конрадом Лоренцем 
за їхні відкриття щодо організації та виявлення індивідуальних і соціальних моделей 
поведінки у тварин. Інстинкти слід відрізняти від рефлексів, які є простими реакціями 
організму на певний подразник, наприклад, звуження зіниць, як реакція на яскраве світло, 
колінний рефлекс, лоскіт, реакція "бийся або тікай". Можна сказати, що інстинкт є 
внутрішнім потягом до певної дії, якому не передують зовнішні подразники. 


Методи машинного навчання включають кероване навчання (регресія, класифікація), 
некероване навчання (кластеризація (К-теап, ОВ5САМ), зменшення вимірності), 
напівкероване навчання, навчання з підкріпленням (0)-навчання, методи на основі політик), 
ансамблеві методи (беггінг, бустинг, випадковий ліс), глибоке навчання (згорткові нейронні 
мережі, рекурентні нейронні мережі, генеративно-змагальні мережі), машинне навчання на 
основі графів (графові нейронні мережі). 


Підхід зверху вниз (Тор-домт Арргоасі (5упіойс Веазопіпе)) моделює спосіб, яким людина 
розмірковує для розв'язування задач, використовуючи наявні знання та логічні правила. Цей 
підхід передбачає декомпозицію проблеми на підзадачі, які послідовно вирішуються, 
грунтуючись на загальних принципах і логічних правилах. 

Підхід знизу вгору (Войот-ир Арргоасі (Меига! МегугогК5)) моделює структуру людського 
мозку, що складається з великої кількості простих одиниць, званих нейронами. Кожен нейрон 
діє як зважене середнє своїх входів, і ми можемо навчити нейронну мережу вирішувати 
корисні задачі, надаючи їй навчальні дані. 


Зверніть увагу, що сфера (множина) штучного інтелекту ширша ніж сфера машинного 
начання, а це означає, що машина може проявляти ознаки інтелекту, без вміння навчатися. 


Штучний інтелект (Агіййсіа! ПпейШеепсе, АГ) - це система, що демонструє ознаки інтелекту, а 
саме: вміння аналізувати, обчислювати, класифікувати, генерувати та зберігати інформацію. 


«Штучний інтелект - - здатність інженерної системи здобувати, обробляти, створювати та 
застосовувати знання та навички" (ІЗОЛЕС ТЕ 29119-11). 


Зверніть увагу, що проходження відомого Тесту Тюрінга не є необхідною умовою, для того, 
щоб називати програму штучним інтелектом. В принципі, штучний інтелект підпадає під 
визначення, яке дав фізик Мічіо Кайку в книзі "Майбутнє розуму": "створення моделі світу 
шляхом використання циклів зворотного зв'язку за різними параметрами (наприклад, за 
температурою, простором, часом), щоб досягти мети (наприклад, знайти товаришів, їжу, 


притулок)". 
Якщо ви не згодні з цим визначенням Штучного інтелекту, прочитайте про Ефект ШІ. 


Тест Тюрінга (імітаційна гра): "Суддя взаємодіє з одним комп'ютером 1 однією людиною. На підставі 
відповідей на питання суддя повинен визначити, з ким він розмовляє: з людиною чи з комп'ютерною 
програмою. Завдання комп'ютерної програми - - ввести суддю в оману, змусивши зробити 
неправильний вибір". У червні 2012 року віртуальний співрозмовник Євген Густман (Бирепе 
Соовітап) виграв змагання на честь 100-річчя Алана Тюрінга, зумівши переконати 2990 суддів, що він 


людина. 


"Інформація -- це інформація, а не матерія чи енергія" (Норберт Вінер, "Кібернетика") 


РІКМУ піраміда 


Дані: Сирі факти та цифри без контексту. 

Інформація: Оброблені дані зі значенням. 

Знання: Інформація, проаналізована для розуміння. 
Мудрість: Застосування знань з інсайтом і судженням. 


Як писав Конфуцій в "Лунь ЮЙ": Мудрий той, хто знає правильні шляхи. 


Еразм Роттердамський у своїй книзі "Похвала глупоті" писав, що мудрий знає як чинити на 
благо. 


Принципи нейронних мереж прямого поширення 


Тип нейронної мережі визначає загальну категорію або клас нейронних мереж, наприклад 
ЕММ, ВМ, СМ. 

Кожен тип нейронної мережі може мати певну архітектуру, наприклад, для ВММ існує 
архітектура з довгою короткочасною пам'яттю (1.0пе, 5Погі-Тегптп Метогу, 1.5ТМ), та 


Нейронна мережа Гопфілда. 


Модель нейронної мережі є конкретною реалізацією архітектури з визначеними 
параметрами, які були навчені на певному наборі даних для виконання конкретного завдання. 
У вільному доступі є різні моделі штучного інтелекту (ШІ), зокрема Велика мовна модель 
(11. М, І агее Іапецаєе тоаєі) під назвою Меїа Цата 3. 

ЕММ підходить для класифікації, ВММ (1.5ТМ) для обробки послідовностей, які подаються на 
вхід і мають залежності, СММ підходить для розпізнавання образів (ОСЕК - Оріїса! срагастег 
гесобпійоп), Трансформери підходять для обробки природної мови (ХІ.Р). Для обробки 
природної мови машинами, текст ділиться на токени, потім токени перетворюються в 
числове (векторне) представлення, так званні ембеддінги. На основі цих ембеддінгів 
проводиться навчання моделі. В популярних бібліотеках, як РуТогсі та Кега5, є методи для 
цього (токенізації). За своєю суттю токен є найменшою одиницею, на яку можна розбити 
текстові дані для обробки в моделі ШІ. 


Нейронні мережі прямого поширення (Ееедїогуага пешгаї пегу/огК, ЕММ) є історично 
найпершими та найпростішими нейронними мережами. Вперше вони були описані Френком 
Розенблатом під назвою Персептрон в книзі 1962 року. Нейронна мережа прямого 
поширення (ЕММ) не має циклів, на відміну від рекурентних нейронних мереж (Весштепі 
Меигаї МегугогК58, ВМІМ), тобто мереж з циклами. 

Нейронні мережі прямого поширення можна використовувати для різних задач, зокрема, 
для опису логічних операторів типу ХОБЕ, для розподілу листів на спам та не спам, для 
створення фільтрів картинок, для різного типу передбачень і рекомендацій, типу 
рекомендації фільмів, та щоб підібрати колір тексту відповідно до фону. 

Френк Розенблат також довів, що багатошаровий Персептрон (ЕМ) може реалізувати 
оператор ХОВ та будь-які задачі класифікації відносно своїх входів. 

З допомогою ЕММ (Кееадїогугага пешга! пегугогК) можна навіть розпізнавати літери, проте для 
комплексних задач з розпізнавання образів, краще підходять Згорткові нейронні мережі 
(СММ, Сопуоіцйопа! пеигаї! пекм/огк), які запропонував Ян Лекун. 


Нейронну мережу прямого поширення (ЕХМХ) ми зобразимо у вигляді графа. Вузли 
(вершини) графа зображають штучні нейрони, по аналогії з природними нейронами у мозку. 
Нейрон приймає вхідні сигнали, сумує їх, та активується відповідно до функції активації, 
тобто подає сигнал на вихід. Ми не враховуємо довжини зв'язків (ребер) на графі, і 
вважаємо, що сигнали розповсюджуються за однаковий час по всіх шляхах. 


Вхідний шар : Прихований шар : Вихідний шар 


Діаграма зображає Нейронну мережу прямого поширення (Ееедїогмага пешта! пеїу/огКк, ЕММ), 
яка здатна навчатися, щоб апроксимувати бінарні булеві оператори, типу ХОВ. 


Уявимо, що кожен зв'язок у; має певний електричний опір, отже, сигнал, який по ньому 
пройде, матиме силу відповідно до цього опору. Суть цієї нейронної мережі в тому, що ці 
опори (або ваги) динамічно змінюються під час навчання цієї мережі. Ми подаємо сигнали на 
вхідний шар (елементи 5) й отримуємо результат на вихідному шарі (елемент В). Якщо 
результат нас влаштовує, ми підсилюємо ваги, якщо ні, зменшуємо ваги конкретних зв'язків. 
Шляхом такого зворотного зв'язку та підкріплення, мережа тренується. Перед навчанням ваги 
(опір у фізичних термінах) можна задати випадковим чином. Якщо мережа має сотні вузлів 
(нейронів), програміст не знає розподіл ваг після навчання, точніше він може їх переглянути, 
кудись зберегти, але в принципі йому це не потрібно знати, хіба він хоче налаштувати ще 
одну мережу подібним чином. Отже, конфігурація ЕММ мережі - - це її структура та матриця 
ваг. 

Штучний нейрон має функцію активації, тобто він передає сигнал на вихід, якщо сума його 
входів, пропущена через функцію активації, активує його. Деякі вузли можуть не мати 
функцію активації, наприклад вхідні елементи (5 на діаграмі). 


Для функції активації використовуються в різних випадках: 
Розривна функція Хевісайда - х2021:0; 
Сигмоїда (5ієтоїй, с) - ем/(еч1) - М(ПІ-е, 


Вет Ю - тах(0, х), 
та інші. 


Більшу перевагу надають "гладким функціям", а не розривним, бо гладкі функції неперервно- 


диференційовні, що дає можливість використовувати алгоритм градієнтного спуску для 
виправлення неточностей в результатах. 


Похідна сигмоїди 
ох) - о(х) Я (1 -- о(х)); 


Усунемо когнітивний дисонанс і перейдемо від опису нейронної мережі як фізичної 
структури з дротами, опором, електрикою та транзисторами, до опису нейронної мережі як 
набору функцій та матриць. 

Нейрона мережа в математичних термінах, це набір функцій. Кожен шар мережі - - це 
функція, яка приймає масив аргументів та повертає масив аргументів для наступного шару. 
Термін масив ми потім замінимо на вектор. Кожна така функція шару містить в собі функції, 
які представляють окремі нейрони (та функції їх активації) і матрицю ваг їх зв'язків. В ООП 
об'єкти шарів створюються з допомогою класів. 


Матриця -- таблиця чисел. Матриця з одним рядком, або з одним стовпцем називається 
вектором. 

Для того, щоб можна було перемножити дві матриці А 1 В, кількість стовпців матриці А 
повинна дорівнювати кількості рядків матриці В, або навпаки. 
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Множення матриці можна визначити на основі скалярного добутку векторів. 
а- «х,у?; 
Ьгз «ум»; 


а" Б - ху - ум; (скалярний добуток). 


Множення матриць 


щі ь з. 
аг"; а»' Б» 
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Тепер проведемо обчислення мережі, яка зображена вище на діаграмі. 
Вхіднний шар 


Ас 
1 0 


АЧВ- 


1жу; 07 уз 1жуо-0Ж уд 


Прихований шар 


Са 
зівтоїд(1 Я м: |5ібтої (1 Я м/» 
-)ж муз) -)ж муд) 


С Ж 


М/5 


М/б 


з- з8івтоід(5ідпіої (1 Я м 1 0 9 муз) 7 м/ь Ю 5іб тої. Я м/о 0 Я уд) Я мб). 


Сумуємо ці значення й пропускаємо через функію активації (сигмоїду - - логістичну 
функцію). 


Віаз (зсув) у Геедіогугага пейига! пегугогКк5 (ЕХМ) -- це додатковий параметр, який додається до 
зважених сум вхідних значень перед їх передачею через активаційну функцію нейронів у 
кожному шарі мережі. Додавання біа5 дозволяє активаціям нейронів не починатися з нуля. 


До речі для множення матриць можна застосовувати Алгоритм Штрассена. 

Взагалі множення великих матриць є складним алгоритмом, тому для оптимізації обчислень 
використовують швидкі мови програмування та обчислення СРО. Уаумабстірі розробник може 
оптимізувати ці обчислення в браузері користуючись Аз5етіубстірі та М/ебСтТ.. 
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Графік сигмоїди 


Середньоквадратимчна похибка (теап 5дцагед етгог, М5Е) використовується для функції 
втрат (1055 ГипсПоп). 

Просто М5Е можна записати так: (ргедісбіоп - асішаїМаше)". 

Піднесення до степеня необхідне, щоб зробити функцію гладкою, усунути негативні 
значення, та щоб більші відхилення мали більше значення в сумі. 


Після цього виконується зворотне поширення помилки (БасКкргорагайоп) та метод 
градієнтного спуску (єтадіепі дезсепг). 

Зворотне поширення обчислює градієнт функції втрат щодо ваг мережі для одного прикладу 
вхід-вихід і робить це ефективно, обчислюючи градієнт одного шару за раз, ітеруючи назад 
від останнього шару. Градієнтний спуск або його варіанти, такі як стохастичний градієнтний 
спуск, зазвичай використовуються. 


Кожен шар можна представити як скалярну функцію багатьох змінних. 

Ми можемо використати векторний оператор набла (У) для того, щоб визначити градієнт цієї 
функції, а по суті набір часткових похідний цієї функції. Коли ми знаємо ці похідні ми 
можемо оновити ваги певного шару, потім перейти до попереднього шару й також визначити 
часткові похідні та підібрати параметри так, щоб вони відповідали результатам наступного 


шару. 


Градієнт скалярної функції Г записується як: 


У г- (дбідх, СБду, Обіда). 


Похідна функція від дійсної змінної 


Нехай Її -- дійсна функція, визначена на відрізку (а, Б|. Взявши довільне число х Є (а, Б|, визначимо: 


Р(х) - паб -з х) (СС) - А х)) / (-- х)), де аа, (ях. 


Також: 
КО-- Кх)- ау; 
2--хоадх; 


Р(х) - ду/дх з йт(і -» х) (ду/дх); 
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охедх) 


209 


2709) « ау/ах 2 Ійт (Дх з 0): ((х-Дх) - б(х)) / Дх; 
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Тама5сгірі код простої ЕМХ мережі для апроксимації бінарних операторів (ХОВ, АХР) 


зієтоїд(х) ( 
геїигп 1 / (1 - Маєб.ехр(-х)); 
) 


5ієтоідОегіумабіме(х) ( 
ГУКА ОТ оо ТИ ОН 


і 


(іприєМодез, БіддепМодез, ойєрибМодез) ( 
.іприкМодез5 - іприєМоде5; 
.ПіддепМодез піддепМоде5; 
.ойЕриїМодез5 оиєриєМодез5; 


.меієн'є5Іприєніддеп с ( .БіддепМодез) 


ПЛАТО) 
.тар( О ( .іприєМоде5 ).8111().тар( () Маєн.гапдот() - 8.5)); 


.меієн'є5Ніддепдибрийї з ( .оцЕриєМодез ) 


опРАМИЦО) 
.тар( О ( .БіддепМодез5) .58111().тар( () Маєн.гапдот() - 8.5)); 


.БіазНіддеп (4 .ПіддепМодез ) .8111().тар(() Маєн.гапдот() - 8.5); 
.Біаздибєриї (4 .оцЕриєМодез ) .8111().тар( () Маєн.гапдот() - 8.5); 


) 


фгаїп(іприє5, Кагееїз5, ІеагпіпеВабе) ( 


в .меієр'є5ІприєНніддеп.тар(меієніз5 
меієпіс5.гедисе((5ит, меїєні, 1) зит - меїєн: Ж іприї5Гі1), 8) 


); 


.тар(з5ієтоід); 


з .меієр'є5Ніддепдиєриєї .тар(меієні5 
меієніс5.гедисе((5ит, меїєні, 1) зит - меїєні З 


); 


.тар(5ієтої4д); 
.тар((оиієриї, 1) фагвееї5Гї1) - оибрибї); 


.тар(5ієтоідОегімаїіуме); 


- .тар((еггог, 1) 
.тар(оиЕриї оикриї Ж еггог Я Гі) "Я ІеагпіпеВаєе) 


); 

.меієн'є5Ніддепдибрийї з .меієн'є5Ніддепдиєриї .тар((меієніз, 1) 
меієнє5.тар((меїєні, 51) меїєйі я ТТ) 
); 


з .меієр'є5Ніддепдикриї  гедисе((еггог5, меієрпіс5, 1) 


еггог5.тар((еггог, 51) еггог - меієні5Г)1 " ПЕТ) о 
( .ПіддепМодез5) .8111(8) 


.тар(5ієтоідДегімабіуе); 


іприє5.тар(іприї ппривекеввогия 


); 


.тар((еггог, 1) 
Гі) Я 1еагпіпеВаєе) 


.меієн'Е5Іприєніддеп с .меієн'Є5Іприєніддеп.тар( (меієніз, 1) 
меієніє5.тар((меїєні, 51) меїєйі я 111131) 
); 
) 


ргедісе(іприїз) ( 


.меієн'є5ІприєНіддеп.тар(меієніз5 
меієпіс5.гедисе((з5ит, меїєні, 1) зит - меїєн: Ж іприї5Г1), 8) 


); 


.тар(5ієтоїід); 


.меієр'є5Ніддепдибврит .тар(меієні5 
меієпі5.гедисе((5ит, меїєні, 1) зит - меїєні З 


); 


е .тар(5ієтоїід); 


гебигп 


( 1210; 
іо (( і - 0; і « 100000; іч) ( 


2: Має'.боог(Маєі .гапдот() З .ІепеїН); 
.Жгаїп( Г ЇЇ 


Ї 1, 0.1); 


.ЖогЕаси(іприї 1 


соп501е.10є( Іприї: іприє) Оибриї: 


.ргедісе(іприє)) ); 
)); 


Навчання, продемонстроване у прикладі ХОЕ, є прикладом навчання з учителем (зирегуі5ед 
Їеагпіпе). 


Тауабсгірі бібліотеки машинного навчання 


За допомогою різних бібліотек машинного навчання ви можете створити програму, яка буде 
здатна класифікувати дані, та робити передбачення. 


Ви можете використовувати Зауазстірі бібліотеки для роботи з АЇ в браузері та в Моде. 5, 
наприклад: 

гепзогНом/.і8, 

Ьгаїл.)з, 

зупаріїс.|з, 

птіла.і8. 


ТепзогЕіЇом/.і5 може розпізнавати образи з допомогою Згорткових нейронних мереж (СМ). 
ТепзогЕЇом/.)5 визначає тензор як багатовимірний масив, хоча насправді тензор крім своєї 
структури має спеціальні оператори в тензорному численні, яке розробив італійський фізик- 
теоретик Тулліо Леві-Чивіта. 

Теп5огЕіЇом/.і5 дозволяє досить просто налаштувати модель, яка буде розпізнавати емоції у 
вашому тексті, коментарях тощо. 
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Приклади коду бібліотек ШІ 


Вгаїп.)з: Приклад "навчання з учителем" для апроксимації оператора ХОВ 


5 СОПЛА 
ріпагуТРгезп: 


ріддепіауегз: ІЗ, 
асібімаїіоп: "з5ідтоїа" 


5 


с пеї пем ргаїп.МеигатМеїмогк(сопіід); 


пеї.їгаїп( 
іприє: І0, 01, 
оикриїє: Г09) 
Хо 


іприє: Г9, 11, 
оигриє: 111) 


зприн мово 
ойїриї: 11) 


приво. 2, 
оигриї: Г09) 
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Міпад.із: Оцінка рейтингу фільму 


5ї депге5 - | 
"АсбТоп/, 
"Ддмептиге", 
"Апітабіоп", 
"Сопеду", 
"ргата", 
"РЕатіТу", 
"Миз5ісаї", 
"Муз5іегу", 
"Вотапсе", 
збслерам 
"ерогі м; 
чррале роз 
"Маг" 


Пе 


ше іприї є І 7 2 2 7 й 2 , 7 р 


тоуіе.депгез5.ТогЕасп(Типсбїоп (депге) (1 
Тег іпдех - депге5.іпдехотї( депге); 
ІТ (іпаєх ) іприїГіпдех| - 1; 


г): 


5; тіпа - Міпа() 
.Теагп( | 
( іприї: іприї, оиїриє: |габіпа 
10; 


Пе 
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Теп5огПоуг.і8: Знаходження функції (співвідношення) між двома значеннями х та у. 


Це навчить нашу нейронну мережу узгоджувати наші х з нашими у, щоб спробувати вивести 
правила між ними. У нашому випадку у - 2Х-1. 


п доТгаїпіпд(тоаєї) 1 
пі5їогу з 
тодеї.їіс(х5, уз, 
1 
еросіз: . 
саїТрасКз: 1 
опЕросіЕпа: азупс (еросп, 10495) -» (1 

соп5о01е.109("Еросії:" еросПі 
З |Щоузув 1045.1055); 


) 
1); 

) 
соп5ї подеї - її.5едиепіїаї (); 
тодеї .адд(Єїї.Тауег5.деп5е(( ипіїз: 1, іприїЗ5паре: І11 ))); 
тодеї . сотріїе( 

1055: "пеап5дцагедЕггог", 

орбітігег: 'яда" 
7); 


тодєеї .5иттагу( ); 


5ї Х5 з ЕРїГ.Кеп5о0г24( | - 
:у5 - її.їеп5о0г24( | 


доТгаїпіпд(тоде)).єпеп(() -» 1 
аТтегі(тодеї .ргедї се ( ЕТ. Сеп5ог24( Ї 
52 
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Тестування Штучного інтелекту (ШІ) 


Класичне тестування зосереджено на помилках у коді, таких як синтаксичні помилки, логічні 
помилки та помилки виконання. Класичне тестування орієнтоване на функціональність, 
продуктивність, безпеку та інтерфейс користувача. 

Тестування ШІ (Штучного інтелекту) більше зосереджено на точності моделі, якості даних, на яких 
вона навчалася, її продуктивності на різних наборах даних та на тому, як вона узагальнює нові дані. 


Акуратність моделі (точність моделі) - - це відношення загальної кількості відповідей, до 
кількості коректних відповідей. Наприклад, серед 100 відповідей 10 коректних, тоді 
акуратність буде 10/100; 


Перевірка на "перенавчання"? (оуегійШп?) та "ненавченість" (пипдаегіїШпе). 


Перевірте модель на даних (прикладах), який не було під час навчання. 
Перевірте модель на даних, які були під час навчання. 


Образно кажучи, перенавчання (оуегііпє) -- це якби двері зробили так, що тільки силует 
малої групи людей туди може пройти. Тобто занадто сильна підгонка під конкретні якості, які 
не є універсальними для всієї вибірки. 


Або, наприклад, ваша модель може виявляти на картинці вікна тільки квадратної форми, бо 
ця характеристика часто зустрічалась серед навчальних прикладів. 


Для тестування Великих мовних моделей (1.агее Іапецаєе тодеі, 11.М) у сфері обробки природної 
мови (Маша! Іапецаєе ргосезз8іпе, МІР) застосовують набір тестів 5ирегС БЕ. 

Бенчмарк 5ирегс | Е (5ирег Сепега! І апеиаєє | павгзіапате Еуаїшшайоп) представляє набір складних 1 
різноманітних завдань для оцінки розуміння мови. 


Ось декілька основних прикладів задач з набору ЗирегСї Б: 


-. Вооій0 (Воосіеап Опезйїопз): Задача полягає в відповіді на питання закритого типу (так/ні), яке 
базується на фрагменті тексту. 
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СВ (СопатійпепіВапк): Тест на розуміння тривіальних і зобов'язувальних висловлювань у 
контексті тексту. Модель має визначити, чи стверджує, відкидає, чи залишається нейтральною 
до тверджень, поданих у тексті. 


СОРА (СПоїсе ої Ріацз5ібіе АПегпайуез8): Вибір правдоподібної причини або наслідку для даної 
події з двох варіантів. 


МиіЧЕС (Миїй-5епіепсе Веайтє Сотаргерепзіоп): Задача з розумінням багатопропозиційних 
текстів, де необхідно відповісти на питання і вказати, які речення з тексту підтверджують 
відповідь. 


КеСоВО (Кеайіпє Сопаргерепзіоп ут Сопатоп5епзе Веазопіпє Рагазеї): Задача, яка вимагає 
від моделі заповнити пропуски в тексті на основі контексту, використовуючи відповідні імена 


або замінники. 


КТЕ (Весоєпіліпе Техіша! Епіаїтепі): Визначення того, чи логічно випливає одне твердження з 
іншого. 


М/С (Мога8 їп Сопіехг): Визначення, чи одне 1 те ж слово в двох різних реченнях має однакове 
значення. 


22 


Трішки про згорткові нейронні мережі 


Згорткові нейронні мережі (Сопуошіопа! пейита! пекугогк, СМ) буквально згортаються 
(сопуоі!уез)! 


Згортова нейронна мережа (СМ) не є повнозв'язною мережею (Ну соппесіеа пегухог). У 
СММ зазвичай використовуються шари згортки (сопуоіціопа! Іауегз5) і пулінгу (рооїїпеє Іауегз), 
які спеціалізуються на роботі з просторовими структурами даних, такими як зображення. 


Згортковий шар (СопуоГанопа! І ауег): Він застосовує набір фільтрів, відомих як ядра, до 
вхідних зображень. Фільтри/ядра - - це менші матриці, як правило, у формі 3Х3 або 5х5. 
Ядро (Кегпеї) ковзає по вхідних даних зображення та обчислює скалярний добуток між вагою 
ядра та відповідним фрагментом вхідного зображення. 


Після згортки до результатів застосовується нелінійна функція активації (найчастіше 
використовується Ве) 0) - - Кесіїйеай Ілпеаг Отпії), яка допомагає моделі навчитися нелінійним 
залежностям. 


Рівень об'єднання (Рооїпе Іауег): Цей шар зменшує розмір карти ознак, зменшуючи кількість 
параметрів і обчислювальних ресурсів. Найчастіше використовуються тах-рооНтє або 
амегаєе-рооНтя. 


Шар Вирівнювання (Еакепіпе І ауег): Цей шар перетворює багатовимірну карту ознак у 
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вектор, який може бути подано на вхід до повнозв'язних шарів. 


Повнозв'язний Шар (КиПу Соппесіеа І ауег): Це шар, де кожен нейрон з'єднаний з усіма 
нейронами попереднього шару. Ці шари використовуються для завершення обчислень 1 
виходу кінцевої класифікації чи іншого результату. 
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Джерела: 


«Штучні нейронні мережі: базові положення", І.А. Терейковський, Д.А. Бушуєв (КПІ), 
«Штучні нейронні мережі: обчислення", М.А. Новотарський, Б.Б. Нестеренко (НАНУ), 
"І еагпіпе Теп5огЕЇом/.і8: Ромгегіці Масфіпе Іеагпіпе, іп Уауабстірі" бу Сапі Табогає, 
"Деер Геагпіпеє мії Уамабсгірі" Бу Егіс Д. Міеісеп, 5Бапдіпе Саї, апа 5гапіеу Віезсіі, 
"Тре Нипагед-раєе Масрфіпе Іеагпіпе ВооК" Бу Апагіу ВигКоу, 

"Деер Іеагпіпеє: А Ргасіійопет'я Арргоасі" Бу )о05п Рашег5оп, АЧдат СіБбз5оп, 

"Деер Іеагпіпе" Бу Іап СооаїеПНому, Уо5Пца Вепеіо, Аагоп СоцгуШе, 

«"Еоипаайоп5 ої 51агізіїса! Маїшта! Гаприаєе Ргосез5іпе" Бу Сргі5горрег Р. Маппіпе, 
«"Рашегп Весоєпійоп апа Маспіпе Геагпіпе" Бу Сбгізіоррег Ві5рор, 

«Сегіїйеад Тезіег ДІ Тезіїпе 5уПариз5" Бу ІЗТОВ, 

"Анепіоп І5 АП Уоип Меед" Дз5різЮ Уазугапі, АіЧап Сопе7, 

"Реер Іеагпіпе Вазіс5: Плігодисіїоп апа Оуегуіем/" Бу ех Егідтап (оп УоиТибе), 

«МІТ шігодисйоп го Деер ІГеагпіпе" Бу АІехапдег Атіпі (оп УоиТиБе), 


"Тех Егідтап - Уапп ГеСип, Родсазі Я36" (оп УосиТире). 


рир8м/сага Їа/супарійс/н/ 

риря8://м/млм/ еп5огйоому.оге/5 
рирз8:/5іеуептаШег888.2їШицр. іо/ тіпадіз.пец/ 
риря8://гаїп.)8.огр/н/ 


рирз8:/Лпсгуріед сопа/ла/5псро-іаке-пеіготете?рі/ 


рир8:.//пісгозой. біти. іо/ А1-Ког-Вебіппетя/ 
рирз8:/5іеуептаШег888. 21 іо/піпа-помг-го0-Бийада-а-пеицгаї-пеїмогі/ 
рир8г//млмлм/ Її тп согп/оріс5/деер-Іеагпіпоя 

риряг//мимлм/ 154. Огр/сегійсайопз/агиййсіаї-іпіеПрепсе-іезіег 
рир8://оПата.сот/ 

рир8/Лпісгозой. бій. Ї0/МІ.-Ког-Веріппете/н/ 
рирз8://дой.ма/Рогит/оріс/38872/ 

риряг// мими дтп согп/ оріс5/етпБеадіпе. 

рир8г//млили/. 8 еек5ЇогрееКз оге/агійНсіаї-іптеШаепсе-ап-іпітодисйоп/ 
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рирз://зирег.бшебепсптагк соту 
рирє://м/м/м/.ппІебоокК сопа/м'ікі/доКи. рр 


рирз://еп.м'їкіредіа. огр/м'ікі/А Чепійоп 15 АП Уоцп Меей 
рир58://деуеіорег.пуідїа.сога/біор/деер-Іеагпіпе-пит5Ппеї-соге-сопсерія/ 


рир8://агсріме.оге/дегаї5/согариет-єсіепсе-ца 
рир8://ї-о5УЇа.Фйіа.оума/лазкЛтет/2а163433-Зда4-4842-ЬЬ40-ІЗа14а7ь9Заа 


Нирз8://доцй маЛепіа/агіісів8/Ніт581-5тере-іп-пІр-геп5огіом// 

рир://ИсмііКі дДеу/Чага-5сіепсе/ті-геїегепсе/пті-8Їо55агу/єгадіепі-Боозіїте. 
Нир8г//млили/.сІоцаНаге.сотЛеатпіпе/аі/мПаї-аге-егпбедадїпо5/ 
рир8г// милих Хагіпє, сога/КБ/єціде-оп-м'ога-етіедадїпо5-іп-пір 


риря8:// млмлм/ м/ З5СПООЇ8.сот/аї/аі теп5огіїом" іпіго.а5р 
рир5//педіит.соп/(Фуіпдаїкапіка02/пеПо-угогід-ої-гепвогПому-і5-25650сс1200е 


рир8://аіехіепаї ппе/ Х«М-5УС/АЇТехМеї Біті 
рир8г//млигм/. 8еек5ЇогрееКз.оге/ еп5огом/-|8/2гев-Їрр 


рирз8г//млиги/. 8 єек5ЇогрееКз.оге й пітодисіоп-сопуоЇ а йоп-пейга-пегуогК/ 


рир8://м'млм/.уоищшЬе сопа/матсп?у-Вя гАхЕ8ДМІ 
рир8г//м'млм/ уоищшЬе сопі/матс?У-60с4АГМа-аНО 


рир8г//м'млм/ уоишЬе сопі/матспгу-ВВУМНЬТаЮхс 
рир8г//м'мм/ уоищшБе.сопа/мгатс р? 


узаїгсАгиуПККаЧЦяїРІНООБОМ'ТОРМОЄВІ 67000Дх 7СУВ-зрі 
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